ICCV 2021 | G-SFDA：无需源数据的领域自适应方法

©PaperWeekly 原创 · 作者 | 张一帆

学校 | 中科院自动化所博士生

研究方向 | 计算机视觉

这篇文章介绍一篇 ICCV 2021 的工作：Generalized Source-free Domain Adaptation。这篇文章和传统 DA 的 setting 关注点有以下一些不同：

1. 模型在 source/target domain 上都要有不错的表现；

2. 在 adaptation 的时候，我们只能得到目标域的无标签数据和在源域预训练好的模型，而不能获取源域的训练数据。

我们首先介绍一下本文的 setting，然后细节的介绍一下本文的方法，最后看一下实验和结论。

论文标题：

Generalized Source-free Domain Adaptation

论文链接：

https://arxiv.org/abs/2108.01614

项目地址：

https://github.com/Albert0147/G-SFDA

Problem Setting and Notations

公式化的描述本文所谓的 source-free domain adap-tation（G-SFDA）setting。给定源域数据 和目标域数据 ，总共类别有 类。模型分为两部分，分别是特征提取器 和一个全连接层组成的目标分类器 ，网路的输出定义为 C

源域数据 只能在模型预训练时使用，文中提出的方法只是基于一个预训练好的模型加上数据集 。

本文方法主要由以下两部分组成，LSC 模块负责在不使用源域数据的情况下提升 DA 性能，SDA 模块负责避免对源域数据的遗忘造成的在源域的性能下降。

Local Structure Clustering (LSC)

可以注意到的是，传统 DA 的理论大部分是基于最小化 source-target domain divergence 的，但是这里我们的得不到源域数据，因此 DA 那一套的大部分方法无法正常使用。

本文方法背后的主要思想是，虽然目标域和源域的是有 distribution shift 的，但是目标域的各个类的特征依然聚在一起（如下图），而且和源域的类的特征距离较近。

所以直观的想法是给目标域来个聚类，将这个类和其距离最近的源域的类进行匹配，这就得到了他的标签。我们从 LSC 所使用的 loss 出发分析这个模块的作用：

首先作者维护一个 memory bank 来存储目标域的特征和一个 来存储上述特征得到的预测概率分布。对每个数据点 ，我们找到它的 -近邻（根据特征的余弦相似度），来最小化预测分布 和他最近邻预测分布 的点乘的负对数值，这一步鼓励模型对 和他的最近邻做出一样的预测。除此之外还有一个正则项，这一项鼓励预测类的平衡，防止目标域的数据高度不平衡导致的推化解。 是这一个 batch 里属于 类的平均概率。

Sparse Domain Attention (SDA)

这个模块受到持续学习（CL）方法的启发，对每一层都施加了限制，以便留出容纳新任务的能力，并防止忘记之前的任务。主要的思路是，对于不同的 domain，我们只激活其相应的特征通道，即全部特征 的一部分，也就是对于源域的特征通道我们尽可能保存，而使用其他的特征通道来对目标域进行适应。

这里我们需要一个稀疏域注意力向量 ，这些向量了大都是接近 0,1 的值，使用它来对特征进行 mask。公式化定义这些向量为：

这里的 是 embedding layer 的输出， 是 sigmoid 函数，常量 100 是为了保证一个接近 0-1 的输出。 都是在源域上进行训练的，在 adaptation 的时候 fix 住。那么源域上是如何进行训练的呢？如下图（a）所示，和传统方法的不同之处就在于 之间加了一个 而已。target domain 的 forward 亦是如此，但是 backward 的时候就有一些特殊了，如下图（c），在 中出现的特征都不选择更新。这样就做到了保留 source domain 的信息了。

那么总体的训练算法就出来了：

Experiments 

本文的实验使用了 Office-Home 和 VisDA 两个数据集。在 VisDA 上使用resent101 backbone 的结果如下，在没有 source data 的情况下做到了 SOTA  的性能。

而对于 source-domain 的性能，文章采取了 0.9/0.1 的数据集分割策略，可以看到本文的方法在目标域的效果显著，同时在源域也有非常不错的性能。

特别鸣谢

感谢 TCCI 天桥脑科学研究院对于 PaperWeekly 的支持。TCCI 关注大脑探知、大脑功能和大脑健康。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·